logistic regression

常见疑问

Logistic

什么意思？对数？逻辑？

Regression

明明是Classification的算法，为什么叫Regression

LR是线性分类器还是非线性的？

误区一：逻辑回归的模型引入了sigmoid函数映射，所以是非线性分类器

1. 逻辑斯蒂的sigmoid是似然函数，即一种loss，跟是不是线性模型没关系。所有的似然函数都是非线性函数，照这个逻辑，所有的分类器就都是非线性分类器了。

2. 判断一个分类器是不是线性，要看分界面。比如加kernel后的分界面就是非线性。logistic的分界面是 y=wx+b, 是线性的。

3. 神经网络中间层的sigmoid是映射，跟逻辑斯蒂回归的sigmoid不是一个东西。最后一层softmax才是LR分类器。

总结

LR可以看成 “只有一层softmax层的神经网络”。增加隐层数，就是增加了非线性映射。

如何用LR解决非线性分类的问题

• 自己定义这个非线性映射
  • 这样也就不叫LR了
  • https://zhuanlan.zhihu.com/p/20545718
• 用kernel
  • 和svm是不一样的，svm使用kernel不容易过拟合，而lr更容易过拟合。因为在lr里面vc dimension是随变量数线性增长的，而在svm中vc dimension随变量数对数级增长 (没看懂，知乎小活泼)
  • 通常使用的kernel都是隐式的，也就是找不到显式地把数据从低维映射到高维的函数，而只能计算高维空间中数据点的内积。https://www.zhihu.com/question/29385169